当源和目标域之间存在较大的差距时，常规域的适应方法无法正常工作。逐渐的域适应性是通过利用中间域来解决问题的方法之一，该域逐渐从源源转移到目标域。先前的工作假设中间域的数量很大，并且相邻域的距离很小。因此，适用于未标记的数据集通过自我训练的逐渐域适应算法。但是，实际上，由于中间域的数量有限，并且相邻域的距离很大，因此逐渐的自我训练将失败。我们建议使用归一化流量来减轻此问题，同时保持无监督域适应的框架。我们通过标准化流量生成伪中间域，然后将其用于逐渐的域适应性。我们通过使用现实世界数据集的实验来评估我们的方法，并确认我们提出的方法减轻了上述解释的问题并改善了分类性能。

在域适应性中，当源和目标域之间存在较大距离时，预测性能将降低。假设我们可以访问中间域，从源逐渐从源转移到目标域，则逐渐的域适应性是解决此类问题的解决方案之一。在以前的工作中，假定中间域中的样品数量足够大。因此，无需标记数据就可以进行自我训练。如果限制了可访问的中间域的数量，则域之间的距离变得很大，并且自我训练将失败。实际上，中间域中样品的成本会有所不同，自然可以考虑到中间域越接近目标域，从中间域中获得样品的成本就越高。为了解决成本和准确性之间的权衡，我们提出了一个结合了多重率和主动领域适应性的框架。通过使用现实世界数据集的实验来评估所提出方法的有效性。

最近，针对各种实际应用，例如操纵学习，已经广泛探索了触觉手套。以前的手套设备具有不同的力驱动系统，例如形状记忆合金，伺服电动机和气动执行器；但是，这些提议的设备在快速运动，易于繁殖和安全问题方面可能难以置信。在这项研究中，我们提出了Magglove，这是一种具有线性电动机的可移动磁铁机制的新型触觉手套，以解决这些问题。拟议的Magglove设备是佩戴者手背面紧凑的系统，具有很高的响应性，易用性和良好的安全性。提出的设备是自适应的，随着电流流过线圈的大小的修饰。基于我们的评估研究，可以证实所提出的设备可以在给定任务中实现手指运动。因此，Magglove可以为操纵学习任务中的佩戴者学习水平提供量身定制的灵活支持。

消费者经常阅读产品评论以告知他们的购买决定，因为一些消费者想了解产品的特定组成部分。但是，由于产品评论上的典型句子包含各种详细信息，因此用户必须在许多评论中识别有关他们想知道的组件的句子。因此，我们旨在开发一个系统，以识别和收集句子中产品的组件和方面信息。我们基于BERT的分类器分配了标签，这些标签参考了评论中的句子和句子的各个方面，并提取有关特定组件和方面的评论的句子。我们根据产品评论的模式匹配来确定的单词确定了适当的标签，以创建培训数据。因为我们无法将单词用作标签，所以我们仔细创建了涵盖单词含义的标签。但是，培训数据在组件和方面对不平衡。我们使用WordNet介绍了一种数据增强方法来减少偏差。我们的评估表明，该系统可以使用图案匹配来确定道路自行车的标签，涵盖了88％以上的电子商务网站上的组件和方面指标。此外，我们的数据增强方法可以从0.66到0.76提高F1的F1量度。

部署在野外的机器学习系统通常在源分布上培训，但部署在不同的目标分布上。未标记的数据可以是用于缓解这些分布班次的强大的利用点，因为它通常比标记数据更具可用。然而，未标记数据的现有分配转换基准不反映现实世界应用中出现的方案的广度。在这项工作中，我们介绍了Wilds 2.0更新，该更新在分发转移的野外基准中扩展了10个数据集中的8个，以包括将在部署中逼真获得的策划未标记数据。为了保持一致性，标记的培训，验证和测试集以及评估度量与原始野外基准中的标记与评估度量完全相同。这些数据集涵盖了广泛的应用程序（从组织学到野生动物保护），任务（分类，回归和检测）和方式（照片，卫星图像，显微镜载玻片，文本，分子图）。我们系统地基准测试最先进的方法，可以利用未标记的数据，包括域不变，自我培训和自我监督方法，并表明他们在野外的成功2.0是有限的。为了方便方法开发和评估，我们提供了一个自动化数据加载的开源包，并包含本文中使用的所有模型架构和方法。代码和排行榜可在https://wilds.stanford.edu获得。

子空间聚类方法拥抱一个自表现模型，表示每个数据点作为数据集中的其他数据点的线性组合是强大的无监督学习技术。然而，在处理大规模数据集时，通过参考作为字典的所有数据点来表示每个数据点的表示患有高计算复杂度。为了缓解这个问题，我们通过梳理多个子集，引入并行的基于多子集的自表现模型（PMS），该模型表示每个数据点，每个数据点仅包括小百分比样本。子空间聚类中的PMS采用（PMSSC）导致计算优势，因为分解到每个子集中的每个优化问题很小，并且可以并行地求解。此外，PMSSC能够组合从子集获得的多个自我表达系数矢量，这有助于改善自表现。对合成数据和现实世界数据集的广泛实验表明了我们对竞争方法的方法的效率和有效性。

科学和工程中的复杂过程通常被制定为多阶段决策问题。在本文中，我们考虑了一种称为级联过程的多级决策过程。级联过程是一个多级过程，其中一个级的输出用作下一阶段的输入。当每个阶段的成本昂贵时，难以详尽地搜索每个阶段的最佳可控参数。为了解决这个问题，我们将级联过程的优化作为贝叶斯优化框架的延伸，提出了两种类型的采集功能（AFS），基于可靠的间隔和预期的改进。我们调查所提出的AFS的理论特性，并通过数值实验证明其有效性。此外，我们考虑一个被称为悬架设置的延伸，其中我们被允许在多阶段决策过程中暂停级联过程，这些过程经常出现在实际问题中。我们在太阳能电池模拟器的优化问题中应用提出的方法，这是本研究的动机。

AI正在经历范式转变，随着模型的兴起（例如Bert，Dall-E，GPT-3），这些模型经过大规模的数据训练，并且可以适应广泛的下游任务。我们称这些模型基础模型来强调其至关重要但不完整的特征。该报告提供了基础模型的机会和风险的详尽说明，包括其功能（例如语言，愿景，机器人技术，推理，人类互动）和技术原则（例如，模型架构，培训程序，数据，系统，安全，安全性，评估，理论）对其应用（例如法律，医疗保健，教育）和社会影响（例如不平等，滥用，经济和环境影响，法律和道德考虑）。尽管基础模型基于标准的深度学习和转移学习，但它们的规模导致了新的新兴能力，以及它们在许多任务中的有效性都激发了同质化。同质化提供了强大的杠杆作用，但要求谨慎，因为基础模型的缺陷均由下游的所有适应模型继承。尽管即将广泛地部署基础模型，但我们目前对它们的工作方式，失败以及由于其新兴属性的影响而缺乏清晰的了解。为了解决这些问题，我们认为基础模型的许多批判性研究都需要与他们的基本社会技术性质相称。

Standard training via empirical risk minimization (ERM) can produce models that achieve high accuracy on average but low accuracy on certain groups, especially in the presence of spurious correlations between the input and label. Prior approaches that achieve high worst-group accuracy, like group distributionally robust optimization (group DRO) require expensive group annotations for each training point, whereas approaches that do not use such group annotations typically achieve unsatisfactory worst-group accuracy. In this paper, we propose a simple two-stage approach, JTT, that first trains a standard ERM model for several epochs, and then trains a second model that upweights the training examples that the first model misclassified. Intuitively, this upweights examples from groups on which standard ERM models perform poorly, leading to improved worst-group performance. Averaged over four image classification and natural language processing tasks with spurious correlations, JTT closes 75% of the gap in worst-group accuracy between standard ERM and group DRO, while only requiring group annotations on a small validation set in order to tune hyperparameters.

Distribution shifts-where the training distribution differs from the test distribution-can substantially degrade the accuracy of machine learning (ML) systems deployed in the wild. Despite their ubiquity in the real-world deployments, these distribution shifts are under-represented in the datasets widely used in the ML community today. To address this gap, we present Wilds, a curated benchmark of 10 datasets reflecting a diverse range of distribution shifts that naturally arise in real-world applications, such as shifts across hospitals for tumor identification; across camera traps for wildlife monitoring; and across time and location in satellite imaging and poverty mapping. On each dataset, we show that standard training yields substantially lower out-of-distribution than in-distribution performance. This gap remains even with models trained by existing methods for tackling distribution shifts, underscoring the need for new methods for training models that are more robust to the types of distribution shifts that arise in practice. To facilitate method development, we provide an open-source package that automates dataset loading, contains default model architectures and hyperparameters, and standardizes evaluations. Code and leaderboards are available at https://wilds.stanford.edu.